Visual localization is the task of estimating camera pose in a known scene, which is an essential problem in robotics and computer vision. However, long-term visual localization is still a challenge due to the environmental appearance changes caused by lighting and seasons. While techniques exist to address appearance changes using neural networks, these methods typically require ground-truth pose information to generate accurate image correspondences or act as a supervisory signal during training. In this paper, we present a novel self-supervised feature learning framework for metric visual localization. We use a sequence-based image matching algorithm across different sequences of images (i.e., experiences) to generate image correspondences without ground-truth labels. We can then sample image pairs to train a deep neural network that learns sparse features with associated descriptors and scores without ground-truth pose supervision. The learned features can be used together with a classical pose estimator for visual stereo localization. We validate the learned features by integrating with an existing Visual Teach & Repeat pipeline to perform closed-loop localization experiments under different lighting conditions for a total of 22.4 km.

Visual Teach and Repeat 3 (VT&R3), a generalization of stereo VT&R, achieves long-term autonomous path-following using topometric mapping and localization from a single rich sensor stream. In this paper, we improve the capabilities of a LiDAR implementation of VT&R3 to reliably detect and avoid obstacles in changing environments. Our architecture simplifies the obstacle-perception problem to that of place-dependent change detection. We then extend the behaviour of generic sample-based motion planners to better suit the teach-and-repeat problem structure by introducing a new edge-cost metric paired with a curvilinear planning space. The resulting planner generates naturally smooth paths that avoid local obstacles while minimizing lateral path deviation to best exploit prior terrain knowledge. While we use the method with VT&R, it can be generalized to suit arbitrary path-following applications. Experimental results from online run-time analysis, unit testing, and qualitative experiments on a differential drive robot show the promise of the technique for reliable long-term autonomous operation in complex unstructured environments.

自主表面容器（ASV）代表了自动化湖泊水质监测的有前途的技术。在这项工作中，我们使用卫星图像作为粗图，并计划机器人的采样路线。但是，卫星图像与实际湖泊之间的不一致以及环境干扰（例如风，水生植被和不断变化的水位）可能使机器人难以参观先前地图建议的地方。本文提出了一种强大的路线规划算法，鉴于这些环境干扰，该算法可最大程度地减少预期的总行驶距离，从而引起地图中的不确定性。我们验证了算法在一千多个加拿大湖泊中的模拟中的功效，并在加拿大安大略省北部的一个湖泊中证明了我们在3.7 km长的现实世界机器人实验中应用算法的应用。

定位移动机器人的一种常见方法是测量已知位置点的距离，称为锚点。从距离测量值中定位设备通常是由于测量模型的非线性而作为非凸优化问题。当使用局部迭代求解器（如高斯 - 牛顿）时，非凸优化问题可能会产生次优的解决方案。在本文中，我们为连续范围的本地化设计了最佳证书。我们的公式可以整合运动，从而确保溶液的平滑度，并且对于仅从几个距离测量值进行定位至关重要。拟议的证书几乎没有额外的成本，因为它的复杂性与稀疏本地求解器本身的复杂性相同：位置数量的线性。我们在仿真和现实世界数据集中显示，有效的本地求解器通常会找到全球最佳解决方案（通过我们的证书确认），而当没有证书确认时，简单的随机重新初始化最终会导致可认证的最佳选择。

频率调制连续波（FMCW）LIDAR是一种最近新兴的技术，可通过多普勒效应效率进行每次返回的瞬时相对径向速度测量。在这封信中，我们使用这些多普勒速度测量值从FMCW激光雷达（FMCW Lidar）介绍了第一个连续的一次性绕线算法算法，以帮助几何变性环境中的探测率。我们应用现有的连续时间框架，该框架使用高斯工艺回归有效地估算车辆轨迹，以补偿由于任何机械驱动的激光雷达（FMCW和非FMCW）的扫描性质而引起的运动失真。我们在几个现实世界数据集上评估了我们提出的算法，包括我们收集的公开可用数据集和数据集。我们的算法优于也使用多普勒速度测量值的唯一现有方法，我们研究了包括此额外信息在内的困难条件，可大大提高性能。我们还证明了在标称条件下使用多普勒速度测量值的情况下，仅在有和不使用多普勒速度测量的情况下，仅激光射击的前进量的最新性能。该项目的代码可以在以下网址找到：https：//github.com/utiasasrl/steam_icp。

我们提出了一种生成，预测和使用时空占用网格图（SOGM）的方法，该方法嵌入了真实动态场景的未来语义信息。我们提出了一个自动标记的过程，该过程从嘈杂的真实导航数据中创建SOGM。我们使用3D-2D馈电体系结构，经过训练，可以预测SOGM的未来时间步骤，并给定3D激光镜框架作为输入。我们的管道完全是自我监督的，从而为真正的机器人提供了终身学习。该网络由一个3D后端组成，该后端提取丰富的特征并实现了激光镜框架的语义分割，以及一个2D前端，可预测SOGM表示中嵌入的未来信息，从而有可能捕获房地产的复杂性和不确定性世界多代理，多未来的互动。我们还设计了一个导航系统，该导航系统在计划中使用这些预测的SOGM在计划中，之后它们已转变为时空风险图（SRMS）。我们验证导航系统在模拟中的能力，在真实的机器人上对其进行验证，在各种情况下对真实数据进行研究SOGM预测，并提供一种新型的室内3D LIDAR数据集，该数据集在我们的实验中收集，其中包括我们的自动注释。

现代状态估计通常被表达为优化问题，并使用有效的本地搜索方法解决。这些方法最能保证与本地最小值的融合，但是在某些情况下，全球最优性也可以得到认证。尽管此类全球最佳证书已经为3D姿势格言优化确定了，但是对于基于3D地标的SLAM问题，尚未确定细节，其中估计的状态包括机器人姿势和地图地标。在本文中，我们通过使用图理论方法来解决这一差距，将基于里程碑的SLAM的子问题投入到一种形式，该形式产生了足够的全球最优状态。存在计算这些子问题的最佳证书的有效方法，但首先需要构建大型数据矩阵。我们表明，该矩阵可以以复杂性构建，该复杂性在地标数量中保持线性，并且不超过一个局部求解器的最新计算复杂性。最后，我们证明了证书对基于模拟和现实世界标记的大满贯问题的功效。

本说明使用总平方（TLS）线路拟合问题作为探索一些现代优化工具的画布。该贡献本质上是教程。TLS问题与机器人技术和计算机视觉中的重要问题具有很大的数学相似性，但更易于可视化和理解。我们演示了如何将此问题转变为四二次二次程序（QCQP），以便可以将其作为本本特征问题或半明确程序（SDP）施放。然后，我们转向更具挑战性的情况，在这种情况下，Geman-McClure成本函数和M估计用于拒绝离群数据标记。使用Black-rangarajan二元性，我们表明它也可以施加为QCQP并将其求解为SDP。但是，有了大量数据，SDP可能会很慢，因此我们展示了如何为更快的方法（例如迭代重新加权最小二乘（IRLS））构建最佳证书。

旋转和姿势在许多科学和工程领域中无处不在，例如机器人技术，航空航天，计算机视觉和图形。在本文中，我们根据其矩阵谎言组表示的特征结构提供了旋转和姿势的完整表征，SO（3），SE（3）和AD（SE（SE（3）））。姿势表示的特征成分表明，它们可以被施放成与旋转非常相似的形式，尽管前者的结构可能会根据所涉及的翻译和旋转的相对性质而变化。理解这些重要数量的特征结构本身就是值得的，但是要欣赏诸如旋转和姿势以及雅各布人的计算之类的实际结果也至关重要。此外，我们可以说，主轴的姿势与主轴轮换的方式几乎相同。

我们介绍了Koopman状态估计器（Koopse），一个无模型批量估计的框架，无需线性化假设，不需要特定于问题的特征选择，并且具有与数字无关的推理计算成本训练点。我们将原始非线性系统抬为高维再现内核希尔伯特空间（RKHS），其中系统变为双线性。可以通过在训练轨迹上求解最小二乘问题来学习时间不变的模型矩阵。在测试时间时，系统是代数操纵成线性时变系统，其中标准批量线性状态估计技术可用于有效地计算状态装置和协方差。随机傅里叶功能（RFF）用于结合基于Koopman的方法的计算效率和内核嵌入方法的一般性。 Koopse在实验上经过实验验证，涉及配备有超宽带接收器和轮内径术的移动机器人。 Koopse估计比标准模型的扩展Rauch-tung-Striebel（RTS）更加准确，并且尽管Koopse没有先验知识的系统的运动或测量模型。